HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety
HarnessRisk：面向智能体骨架全生命周期的安全基准
🧭 Agent harness安全评测
University of North Carolina at Chapel Hill · University of Central Florida · Michigan State University
提出覆盖六阶段的Agent harness安全基准，发现配置阶段最脆弱且风险识别不保证安全行动
📌 工作参考价值（3 点）
- 在电商搜索/推荐Agent中，将安全评测拆分为配置、扩展、运行、状态持久化、动作控制、恢复六个阶段，可快速定位风险面——尤其配置阶段（权限、工具白名单等）最为脆弱，工程上应默认最小权限并定期审计。
- 不要只依赖模型的风险识别能力，需在harness层增加强制拦截/审计：论文显示90%以上检测到风险仍可能保持较高攻击成功率，识别与安全行动之间存在显著gap。
- 构建内部安全回归集时，可采用“良性用户目标+不可信工作流嵌入对抗指令”的构造方式，覆盖不同harness与模型配置，同时统计Utility、ASR、Persistence、Detection多维指标。